Kei’s Blog

2024年がもう終わりになるので，仕事面やプライベートで学んだ技術を振り返る

仕事面でもプライベートでもElasticsearchやLuceneについての理解が深まった年だった．

特にElasticsearchのセグメント(LuceneのIndex）のチューニングできることも以下の記事から学べた

Elasticsearchのshard数の増加により発生するオーバーヘッドの正体 | メルカリエンジニアリング

Mercari Search Infra Teamのmrkm4ntrです。Elasticsearchは1ノードに載り切らない量のデータも複数のshardに分割し、複数のノードに載せることで検索が可能になります。shard数を増やすことで並列

https://engineering.mercari.com

来年度からはセグメントのチューニングすることによるパフォーマンス改善方法も模索していきたい(そのためにプロファイリングの使い方も勉強…)

ちなみにSearch Profilerで見れるnext_docについては以下のQiitaで書いている．

KibanaのSearch Profilerで見れるnext_docって何者？ - Qiita

目的ここ最近KibanaのSearch Profilerを実行することがあったが，結果にあるnext_docが何なのかを知りたくなったので調べてみる．next_docとはnext_docはLu…

https://qiita.com

これは本業で自動化ツールを作る際に汎用的に作る要件が出てきたため，初めてデザインパターンのFactoryパターンを用いたツールの開発を行った．
デザインパターンは名前だけ知っていて実装をしたことがなかったので，これは非常に勉強になった
このツールのリリースは事情によりリリースはできなかったが，SREをやっているとまた自動化した要件が出てくると思うので，またこの知識を活かしていきたい．

デザインパターンの参考として，記事はもちろん以下の書籍が非常に参考になりました

Java言語で学ぶデザインパターン入門第3版 | 結城 浩 |本 | 通販 | Amazon

Amazonで結城 浩のJava言語で学ぶデザインパターン入門第3版。アマゾンならポイント還元本が多数。結城 浩作品ほか、お急ぎ便対象商品は当日お届けも可能。またJava言語で学ぶデザインパターン入門第3版もアマゾン配送商品なら通常配送無料。

https://amzn.asia

今はPending中だが，副業でWebRTCを用いたサービス開発を行うために初めてWebRTCについて学んだ．正直今まで学んできた技術の中でも基礎のキャッチアップだけでかなり苦労した．

Vさんの以下の記事はすごい参考になった．今でもたまに読み返している

WebRTC を今から学ぶ人に向けて

voluntasさんのスクラップ

https://zenn.dev

以下のWebRTC Meetupにも参加したが，これまで参加した勉強会の中で一番濃かった．

【テーマはAI x WebRTC】WebRTC Meetup Tokyo #28（懇親会あり） (2024/10/22 19:20〜)

# 今回はAIとWebRTCをテーマにした勉強会です！ バーチャル背景等、WebRTCと組み合わせて利用されることが多いAI技術ですが、今回の勉強会は、そんなAIについても学べるコンテンツでお送りします！ 最後には懇親会もありますので、ぜひコミュニティづくりにご活用ください！ # WebRTC Meetupについて WebRTC MeetupはWebRTCやその周辺技術に興味がある全ての人向けの勉強会です。 開催歴は以下のとおりです。 * 2014年4月東京で第1回勉強会を開催 * 2017年8月大阪で初開催 * 2018年4月福岡で初開催 * 2020年1月…

https://webrtcmeetup.connpass.com

またWHEPに付いて調査していた際にVさんに反応をもらえたのは嬉しかった．

自分はKubernetesを本業でも運用していて，STUNnerがGAになったのは個人的に嬉しかったかも

STUNner goes GA: The journey so far and the future ahead

We are proud to present STUNner v1.0.0, the first stable and generally available release of the Kubernetes media gateway from l7mp.io.

https://medium.com

アドベントカレンダーでも書いてあるのでぜひ

最近GAになったSTUNnerについて調べてみた - Qiita

はじめに色々Kubernetes周りのOSSを調べていたところ、STUNnerというKubenetes向けのWebRTC関連のOSSがGAになっていました。気になったのでどういったOSSなのかを…

https://qiita.com

本業で今年何を頑張ったかというと，Javaの暖気と自信を持って言える．それくらい暖気の難しさと戦った年だった．

まず暖気をするための理由でもあるJITコンパイルについて学んだ．そのための以下の資料は非常に参考になった

Java Developers Summit Online 2023

https://speakerdeck.com

この書籍も非常に参考になった．

Javaパフォーマンス

本書ではJVMのチューニングとJavaプラットフォームでの問題解決の双方からJavaパフォーマンスの「アート」と「サイエンス」を明らかにします。Javaアプリケーションのテスト手法やベンチマーク測定、パフォーマンス分析に必須のモニタリングツールを学んだうえで、さまざまな性能改善について議論します。JITコンパイル、ガベージコレクションというチューニングが大きな役割を果たす2つの仕組みについて最初に考察します。続いて、Javaプラットフォームのさまざまな側面で高いパフォーマンスを発揮するためのベストプラクティスを紹介します。具体的には、Javaのヒープメモリ、ネイティブメモリ、スレッド、Java…

https://www.oreilly.co.jp

また暖気をどれくらい叩けばよいの？とかは以下の記事が参考になった

JITとコードの暖気の実体 - #chiroito ’s blog

どうも、趣味でOpenJDKのコミッタをしてます。 とあるブログを読んでいたら気になる点があったので検証してみました。 JITと暖気 Javaプロセスはアプリケーションを動かしながら必要に応じてバックグラウンドでバイトコードをネイティブコードにコンパイルします。このコンパイル時にはCPUリソースを使用します。 コンパイルにはいくつかのレベルがありますが、コンパイルされる前やレベルの低いコンパイルのコードはCPUのリソース効率が悪かったり、アプリケーションの処理中にコンパイルが実行されるとCPUリソースを奪いあったりなどが問題になります。 そのため、Java のアプリケーションで性能を気にする要…

https://b.chiroito.dev

Kubernetes上でJavaアプリケーションを運用するうえでのノウハウが足りないなとも感じた．それくらい暖気が難しい．
ちなみに暖気に苦労した話はアドベントカレンダーにも書いてみた．

CompileThresholdScalingを用いて最小の暖気でC2コンパイルさせようと思ったらうまくいかなかった - Qiita

概要なんとかJavaアプリケーションの一部メソッドを少ない暖気でC2コンパイルできないかと思い、CompileThresholdScalingを試してみた実際に検証すると対象のメソッドが少ない暖…

https://qiita.com

CRaCを使えばそのへんが楽になるのかなと思いつつ，まだ情報がなさすぎるから今後に期待したい

Using CRaC to reduce Java startup times on Amazon EKS | Amazon Web Services

Application modernization is a focus area for organizations of different sizes and across industries to achieve business objectives such as reduced time to market, improved cost efficiency, and better customer experience. Containers and container orchestration platforms have been one of the key enab…

https://aws.amazon.com

本業で今年にv1.0.0がリリースされたKarpenterを導入することになった．自チームで管理するマイクロサービスにKarpenterを乗せるために，DeepDive記事を読んだが非常に面白いOSSだと思った．挑戦的だし今後の進化に期待したい

Karpenter の魅力と実装にちょっぴり Dive Deep ~ Consolidation 編 ~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

AWS によって開発された Kubernetes クラスターオートスケーラー「Karpenter」が提供する機能のうち、 Consolidation (統合) という機能に焦点を当ててソースコードを読みながら解説します。

https://aws.amazon.com

Karpenter の仕組みを解明 / Discover How Karpenter Works /

Kubernetes Meetup Tokyo #67 LT 枠で登壇させていただきました。 connpass: https://k8sjp.connpass.com/event/330635/ youtube: https://www.youtube.com/live/tz3--1Mf0D…

https://speakerdeck.com

ちなみにKarpenterの中断機能のPolicyであるWhenEmptyとWhenEmptyOrUnderutilizedの違いについてもアドベントカレンダーを書いた．

KarpenterのWhenEmptyとWhenEmptyOrUnderutilizedの違い - Qiita

概要弊チームで利用しているマイクロサービスをKarpenter Nodeへの移行検証を行った際に、consolidationPolicyの違いについて色々学んだので本記事でまとめます．Kapen…

https://qiita.com

Istioは本業で運用しているが，上で紹介した暖気を行うためにwarmupDurationSecsを導入する際に改めて調べてみた．

以下の記事は神です．

【Istio⛵️】Istioによって抽象化されるEnvoyのHTTPSリクエスト処理の仕組み - 好きな技術を布教したい 😗

Istioサイドカーメッシュを題材にして、IstioがEnvoyの特にHTTPSリクエストの処理をどのように抽象化するのかを布教しました👍🏻

https://hiroki-hasegawa.hatenablog.jp

またwarmupDurationSecsの荷重変更がVirtualServiceの変更とは違いちゃんとした数式に基づいていたのが驚きだった．それについてもアドベントカレンダーを書いている．

IstioのwarmupDurationSecsのweight値について - Qiita

概要IstioのwarmupDurationSecsを利用する機会がありましたが，どういったweightの変更を行っているのかが気になったので本記事でまとめます。warmupDurationSe…

https://qiita.com

IstioのwarmupDurationSecsはEnvoyのSlowStartModeが元になっており，サポートする際のPRが以下．

こういった便利な機能を自分でも作ってみたいと，このPRを見て何度も感じた．

Support slow Start mode in Envoy by nezdolik · Pull Request #13176 · envoyproxy/envoy

Signed-off-by: Kateryna Nezdolii nezdolik@spotify.com Support progressive traffic increase in Envoy, implementation is according to design doc: https://docs.google.com/document/d/1NiG1X0gbfFChjl1aL…

https://github.com

自分が持っているPCでLinux Desktopを持っていないなと思い，話題になっていた価格com割引のThinkPadを購入し，それにArch LinuxのDesktop環境を入れた．

まだ環境を整え中だが，来年はこれを使って色々試していきたい．

これは完全にプライベートだが，SpaceXのBooster LandingをYouTubeで見て調べてしまった．(その勢いでNetflixのReturn to Spaceも一気見してしまった)

Return to Spaceを見た感想 - Kei’s Blog

Return to Spaceの感想

https://blog.keitatomita.com

あそこまで技術が魔法のように見えたのは初めてだったから感動した．

またBooster Landingを再現しようとしているYouTubeもあり，何度も見ている．

I Propulsively Landed a Model Rocket! - Eagle

Part 3 out of 3! This is about Eagle and how it is able to propulsively land itself. This video represents 2.5 years of development and testing, I hope you e…

https://www.youtube.com

宇宙業界は大学の頃から興味はあり，ちょこちょこ学んでいた．
SpaceXの技術を見て，更に宇宙業界のソフトウェア技術にも目を向けてみようと思った．

このブログはastro-notion-blogというOSSを使っており，元はJavaScriptのフレームワークである「Astro」が使われている．このブログを少し改造するにあたって，Astroを学ぶ必要があったため軽く勉強をしていた．

フロントエンドを普段触らない人間からしたら，少し癖が強いとも感じたが，雰囲気でも触れているのでまぁいいなとは思った．

話題の最新フロントエンドフレームワーク「Astro」を使ってみた - Qiita

最近、Astroというフレームワークについて耳にする機会が増えました。Astroは2022年4月にベータ版がリリースされ、約一年でGitHubでのスター数は29.7kということで非常に勢いがありま…

https://qiita.com

本業でも自宅ラズパイクラスタでも独自のコントローラを作る機会があったため，勉強した．

まずは以下の記事を元に作っていた．

つくって学ぶKubebuilder · つくって学ぶKubebuilder

https://zoetrope.github.io

以下のUdemyも買ってみたがこれもかなり良かったからおすすめ

Just a moment...

https://www.udemy.com

今年はGoogle Cloudの資格を取ることができた

本業ではAWSを基本的に使っているが，たまにGoogle Cloudを触ることもあるのでとても勉強になった．
ただ最近Google Cloudを触らなくなってきたので覚えた知識は忘れつつある…

今年は副業も始めてみたり，新しい技術に触れたりとかなり充実した1年だったと感じた．
ただアウトプットが少ないように感じたから来年は増やしていきたい．

あと，このブログもせっかく作ったのだから活用していきたい．